McAvoy đã từng có quan hệ yêu đương với nữ diễn viên Scotland Emma Nielsen (nghệ danh Emma King[18]). Họ bắt đầu hò hẹn khi McAvoy 16 tuổi nhưng chia tay vào năm 2003.[19][20] Sau đó anh cưới nữ diễn viên Anne-Marie Duff năm 2006. Họ sống ở London. McAvoy thích các tiểu thuyết khoa học giả tưởng và là một fan hâm mộ của Câu lạc bộ bóng đá Celtic.[21].

Mặc dù là một ngôi sao đang lên rất nhanh, song McAvoy lại sống thiên về tinh thần, tình cảm, không lấy vật chất và phô trương làm trọng. Sau thành công của một loạt phim, cho đến sau khi chiếu Wanted, anh vẫn đi một chiếc xe Nissan Micra có trị giá 2.000 USD trên thị trường hiện nay. Hai vợ chồng James sống trong một căn hộ nhỏ xíu trên tầng hai tại khu Stroud Green, nằm cách xa những khu dân cư sang trọng phía Bắc thành phố London. Chiếc xe này đã 10 năm tuổi chỉ có giá 2.000 USD trên thị trường. Anne-Marie Duff, vợ và hơn McAvoy 9 tuổi, mua căn hộ này với giá 340.000 USD vào năm 2006, trước khi hai người kết hôn. McAvoy tâm sự: "Tôi vẫn là tôi như trước khi nổi tiếng, làm mọi việc mà mọi người không để ý. Tôi thích có một bữa ăn yên tĩnh và thoải mái với bạn bè hơn là vụng về tham gia một đại tiệc nơi mọi người đều biết rõ về bạn"[22].

Khác với đại đa số các ngôi sao khác, McAvoy thích gia đình và thích cả làm những việc vặt trong gia đình như rửa bát, nấu nướng. Anh nói: "Mỗi khi ở nhà và không phải làm việc, tôi thường tự nấu ăn. Tôi có cảm giác như mình bị tách ra khỏi thế giới loài người nếu như tôi không tự mình nấu nướng."[23]

Món sở trường của McAvoy là hành nấu cari. Đồ ăn Ấn Độ là sở thích của anh. Và anh cũng thích thử nấu các món Mexico nhưng không được như ý cho lắm. Không đến mức khó nuốt nhưng nó không ra được hương vị đích thực của Mexico.

McAvoy nói sẽ không bao giờ sống ở Mỹ. Cả sáu phim trước của anh đều được quay tại châu Âu và 4 trong số đó là ở ngay nước Anh. Anh từng nghĩ: "không hẳn bạn cứ phải chuyển tới Mỹ mới có cảm giác được sống trong thế giới điện ảnh[23]. Thứ đắt nhất mà anh đang sở hữu và anh nhắc đến chỉ là chiếc xe scooter (xe gắn máy) của mình. Nhưng nó bị hỏng nhiều quá và anh tiếc là đã phải bán nó. Anh hy vọng sẽ sớm có được một chiếc Vespa khác dù anh đang có nhiều triệu đôla.

Địa điểm du lịch yêu thích của anh là châu Phi bởi lẽ anh đã không có nhiều thời gian dành cho vùng đất này khi tới đây. Anh tâm sự: "Đó là một châu lục thật đáng kinh ngạc. Tôi thích được ngắm nhìn những chú gorilla ở Rwanda hay Uganda. New Zealand cũng là một trong những địa điểm yêu thích của tôi."[23]

Anh luôn cảm thấy lúng túng, khó khăn khi đóng các cảnh quá nóng bỏng với các nữ diễn viên khác. Anh bày tỏ: "Những cảnh sex luôn là ác mộng của tôi. Chưa bao giờ tôi cảm thấy dễ dàng. Lúc nào cũng như đang phải vật lộn với một biển mồ hôi và sự khó chịu. Khi người ta nói "Action!", kịch bản bảo bạn phải cảm nhận thấy khuôn ngực của một quý cô thì bạn sẽ phải thấy rõ bộ ngực đó, hơi thở đó. Bạn hoàn toàn không có lựa chọn nào khác! Với diễn viên nữ cùng diễn khác, anh cũng luôn xấu hổ như vậy[24].